package kevin.bigdata.spark.rdd.builder

import org.apache.spark.{SparkConf, SparkContext}

/**
 * @author: kevin  
 * @date: 11:37 2021/4/30
 */
object RDD_File2 {
  def main(args: Array[String]): Unit = {
    //TODO 准备环境
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD").set("spark.testing.memory","2147480000")
    val sc = new SparkContext(sparkConf)

    //TODO 创建RDD
    //text: 以行为单位来读取数据，读取的数据都是字符串
    //wholeTextFiles: 以文件为单位读取数据
    //读取的结果表示为元组，第一个元素表示文件路径，第二个元素元素表示文件内容
    val rdd = sc.wholeTextFiles("data")

    rdd.collect.foreach(println)

    //TODO 关闭环境
    sc.stop()
  }
}
